Giám mục Giuse Phạm Văn Thiên yêu cầu linh mục đoàn chọn lựa vị linh mục xứng đáng để ông tấn phong tân giám mục phó. Thể lệ là một linh mục chọn 2 linh mục mình thấy là xứng đáng. Kết quả có 100% chọn linh mục Huỳnh Văn Của làm giám mục.[4] Ngày 22 tháng 2 năm 1976, linh mục Giacôbê Huỳnh Văn Của được tấn phong giám mục với cương vị giám mục phó giáo phận Phú Cường, hiệu tòa Mizigi. Vị tân giám mục được tấn phong trong âm thầm bởi Chủ phong là Giám mục chính tòa Giáo phận Giuse Phạm Văn Thiên, hai vị phụ phong là Giám mục Giuse Trần Văn Thiện, giám mục chính tòa Giáo phận Mỹ Tho và Giám mục Đa Minh Nguyễn Văn Lãng, giám mục chính tòa Giáo phận Xuân Lộc.[5]

Trên thực tế, giám mục Huỳnh Văn Của đã ngừng thi hành tác vụ giám mục từ năm 1979.[6] Từ năm 1979 đến năm 1995, giám mục Huỳnh Văn Của điều trị bệnh ở ngoại quốc. với tình trạng sức khỏe suy yếu vì bệnh tim, ông sang Pháp điều trị một thời gian khá dài. Thời gian ở hải ngoại, ông đã đi nhiều nơi, khi thì tạm trú tại Dòng Đồng Công tại Hoa Kỳ, khi thì tạm trú ở Panama, khi tại Pháp. Với tình trạng như vậy, ông đã xin từ chức giám mục phó ngày 8 tháng 6 năm 1982.

Ngày 9 tháng 1 năm 1995, ông qua đời tại Nice, Pháp, thọ 80 tuổi,[3] 54 năm Linh mục trong đó có 6 năm ở cương vị Giám mục phó Giáo phận Phú Cường, 17 năm sống ở ngoại quốc. Thi hài ông được an táng tại nơi ông qua đời là Nice, Pháp.[7]